Sơn dương Sumatra có kích thước lớn, chiều dài cơ thể khoảng 120–180 cm, bờ vai khi đứng cao khoảng 100 cm, trọng lượng 50–120 kg, những con đực trưởng thành có thể nặng đến 150 kg. Ngoại hình của chúng nửa giống dê, nửa giống linh dương với phần lông dài trên đỉnh đầu và cổ tạo thành bờm. Toàn thân phủ lông dày, nhám, màu xám đen hoặc màu tro. Cả con đực và con cái đều có cặp sừng ngắn (chỉ khoảng 30 cm) có dạng ống tròn và nhiều nếp ngang, nhọn cong về phía sau. Đuôi của chúng rất ngắn.